[레포트] AWS에서 인텔 기반 AI로 비즈니스 문제 해결

세션

Agenda

• 오늘날의 AI
• 왜 인텔과 AWS인가?
• AWS 기반 인텔 AI
• Habana Gaudi 사례 소개

오늘날의 AI

• AI는 우리가 알고 있는 모든 산업을 혁신함
• 소비자 분야, 의료 분야, 금융, 소매업, 모두가 해당함
• 2023년까지 500억 개의 장치와 5천억 개의 센서가 인터넷을 통해 스마트하게 연결될 것
• 이러한 장치 중 40%는 기계와 통신함
• 이것은 데이터와 데이터 홍수가 예견되어있음을 의미함
• 모든 업계에서는 제품을 구축하고 고객 경험을 구축하며 소비자 요구 관점에서 미래를 준비하는 데 도움이 되는 최상의 인사이트를 도출하기 위해 이러한 데이터의 가치를 살리는 방법을 파악하고자 힘쓰고 있음
• 데이터에서 인사이트를 도출하는 데 도움이 되는 AI와 같은 기술을 살펴볼 때는 다음 3가지를 기억해야함
• 첫 번째, 사용 사례의 가용성
• 종사하는 산업에서 해당 데이터에 대한 바른 성과를 얻을 수 있는 올바른 사용 사례를 확보할 필요가 있음
• 두 번째로 중요한 과제 또는 요인은 구매력
• 조직뿐만 아니라 고객 또한 AI와 같은 기술을 채택할 수 있는 구매력을 갖추여야 함
• 세 번째는 제품 혁신 관점 및 비즈니스 혁신 관점에서 고객을 위한 비즈니스의 미래를 구축하기 위해 얻을 수 있는 빠른 보상임
• 이 세가지 요소를 잘 기억하면 어떤 산업에 종사하는지에 관계없이 올바른 AI 도입 방법과 AI를 도입하는 이유를 알 수 있고 일상적으로 사용 가능한 데이터 인사이트를 도출하는 방법을 알 수 있음

왜 인텔과 AWS인가?

• 지난 16년 동안 인텔과 AWS가 구축해온 관계
• AWS는 인텔에서 가장 선호해온 CSP 공급업체이며 인텔은 현재 Amazon EC2에서 사용 가능한 기술을 맞춤화 및 특별 제작하고 있음
• 인텔의 유연한 컴퓨팅 상품인 Amazon EC2든, 아니면 스토리지인 Amazon S3든, 아니면 AI, HPC, IoT, Edge를 위한 AWS 플랫폼에서 사용하게 될 다양한 워크로드든, 또는 Oracle, SAP, Windows, VMware와 같은 다양한 데이터베이스의 단순한 마이그레이션이든 모두 인텔이 지원함을 알 수 있음
• 클라우드의 성능은 고객을 위한 이러한 서비스의 성과 및 최적화에 매우 중요함
• AWS의 인텔의 기술력으로 가속화되는 컴퓨팅은 이러한 경험을 현실로 만듬
• 인텔과 AWS는 공통된 역사와 고객 헌신이라는 가치를 공유하며 리더 모두의 강력한 지지를 등에 업고 있음
• 인텔 실리콘과 기술을 기반으로 하는 250개 이상의 인스턴스를 통해 글로벌 요구 사항과 워크로드 요구 사항을 충족함

• 200개의 인스턴스가 있음
• 다양한 프로세서와 제품군을 살펴보면 응용 프로그램 요구 사항에 실질적인 도움이 되는 다양한 프로세서와 다양한 기술이 있음을 알 수 있음
• 따라서 범용 컴퓨팅을 자주 활용하거나 컴퓨팅에 최적화된 인스턴스가 더 필요하거나 보다 메모리 집약적인 인스턴스가 필요하거나 스토리지 이점 또는 가속화된 컴퓨팅을 필요로 하는 사용자를 위해 인텔은 AWS에서 이용할 수 있는 다양한 서비스를 제공하고 있음
• 오늘날 Amazon EC2를 지원하는 다양한 프로세서를 살펴보면 Haswell에서 시작된 인텔이 강력한 제온 프로세서가 많은 발전을 거쳐 Ice Lake까지 이어졌다는 것을 알 수 있음
• 인텔은 응요 프로그램과 오늘날 AWS에 대한 요구 사항을 기반으로 각 인스턴스를 말 그대로 세분화 했음
• 사용자가 필요로 하는 범용 집약적 응용 프로그램이든, 혹은 컴퓨팅 최적화 응용 프로그램이든, 메모리 최적화 응용 프로그램이든, 사용자가 필요로 하는 가속화된 컴퓨팅이든, 또는 컴퓨팅 가속이 필요한 클라우드에서 사용자가 필요로 하는 스토리지이든, 인텔은 Amazon EC2에 완전히 맞춤 구축된 응용 프로그램 및 워크로드 중심 서비스를 갖추고 있음

AWS 기반 인텔 AI

• EC2의 CPU 기반 인스턴스인 Ice Lake 외에도 현재 EC2에서도 사용할 수 있는 GPU 인스턴스 이것이 바로 Habana Gaudi 프로세서임
• 이러한 인스턴스는 머신러닝 훈련용으로 특별히 구축된 새로운 Amazon EC2 인스턴스이며 최대 8개에 달하는 인텔의 새로운 Habana Gaudi 프로세서로 구동됨
• 해당 프로세서는 AWS에서 기존에 출시한 GPU 기반 인스턴스보다 딥 러닝 모델 훈련에 드는 비용을 40% 절감할 수 있음
• 이를 통해 고객은 모델 훈련을 더 자주 수행할 수 있으며 특히 AWS DL, AMI, DL 컨테이너인 AI용 Amazon EC2 서비스 풀 스택이 제공하는 이점을 완전히 누릴 수 있을 뿐만 아니라 궁극적으로는 Amazon SageMaker로 이어짐
• 따라서, 최고의 머신러닝 경험은 물론 훈련 추론과 훈련 경험을 얻고자 한다면 인텔 기반 CPU 인스턴스와 인텔 기반 GPU 인스턴스를 조합할 경우 C6i, DL1인지에 관계 없이 AI가 각 사용 사례와 각 업계에서 필요로 하는 작업을 수행할 것임

• 인텔은 또한 확장 IoT 또는 NUC 디바이스나 Movidius 스틱과 같이 클라우드에 통합할 수 있는 에지 AI 하드웨어 솔루션도 갖추고 있음
• NLP 모델이나 컴퓨터 비전 모델을 실행하는 경우 이러한 기능은 매우 효과적일 것
• 그러나 하드웨어와 딥 러닝 부스트 기능 또는 벡터 신경망 명령어 세트 또는 더 나은 병렬 프로그래밍을 수행하는 데 도움이 되는 AVX-512 명령어 세트 등 칩에 내장된 기능 외에도 인텔은 하드웨어에서 사용자에 맞춰 하드웨어를 최적화 하는 방대한 에코시스템을 갖추고 있어 사용자가 직접 최적화를 수행할 번거로움을 줄여줌
• 이제 기초 계층인 하드웨어에서 벗어나자면 인텔은 오늘날 AWS에서 볼 수 있는 인스턴스를 위해 인텔의 하드웨어에 맞게 사전 최적화된 소프트웨어를 보유하고 있음
• 인텔 Python용 배포판이든 데이터 분석 가속 라이브러리든, 연산 커널 라이브러리 DNN 요소든, clDNN으로 수행하는 작업 중 무엇이든 모두 사이클 뿐만 아니라 저수준 모델 훈련 플랫폼에서 상주하는 실제 라이브러리이며 모델에 적합한 사전 최적화를 지원함

• 컴퓨터 비전을 목표로 하거나 머신 러닝 및 딥 러닝 추론 워크로드를 목표로 한다면 M5, C5 또는 DL1 인스턴스가 제격임
• 이제 Ice Lake가 출시됨에 따라 M6i 또는 C6i 에도 액세스할 수 있음
• CNN 또는 BERT와 관련한 더 높은 수준의 메모리 최적화 훈련 모델을 갖추고 있다면 역시 인텔을 기반으로 하는 R 인스턴스 및 R 인스턴스 제품군을 사용하는 것이 좋음
• 더 높은 수준의 분산 딥 러닝 훈련을 목표로 하거나 특히 단일 노드에서 더 높은 네트워크 성능을 원한다면 C5 인스턴스 또는 C5n 인스턴스를 권장함
• 컴퓨팅 요구 사항이 낮은 머신 러닝 응용 프로그램을 활용하며 더 많은 딥 러닝 추론 응용 프로그램이 필요한 경우에는 T3 또는 T3 five 인스턴스 사용을 권장함
• 이 모든 옵션을 AWS에서 이용할 수 있음
• Ice Lake를 기반으로 하는 최신 버전을 사용할 수 있음

• DL AMI, SageMaker 등 AWS 기반 서비스를 사용하는 사용자의 경우 이 데이터 포인트를 통해 이러한 특정 서비스를 지원하는 인텔에 최적화된 하드웨어 인스턴스에서 얻을 수 있는 부스트를 확인할 수 있음
• 따라서 딥 러닝 AMI를 사용하는 경우 C5는 성능을 7.4배 더 높여 CPU 훈련에 도움이 될 것
• AWS에서 DL AMI를 사용하는 인텔 CPU에서의 여정을 다시 살펴보면 인텔 엔지니어링 팀이 AWS와의 협력하여 수행한 기본적인 사전 최적화만으로도 12배에 달하는 성능 이점을 얻을 수 있음
• SageMaker에서의 완전한 경험을 보면 훈련과 추론 모두에서 10배 이상의 성능 이점을 확인할 수 있음
• 이는 사용자가 구축하는 특정 AI 응용 프로그램의 TCO를 낮추는 데 도움이 될 것
• AWS에서 SageMaker나 Rekognition, Forecast, Comprehend 또는 추출 응용 AI인 Personalize 등 AI 서비스를 확장 또는 응용하는 경우에도 내부에서 인텔 인스턴스를 사용할 수 있는 능력을 바탕으로 성능 이점을 누릴 수 있는 사전 최적화에 액세스 할 수 있음

Habana Gaudi 사례 소개

• 애들레이드 대학과 수행한 작업
• 인텔은 밀의 다양성에 대한 연구와 조사를 돕기 위해 3TB 식물 육종 데이터 분석을 지원했음
• 이는 기업뿐만 아니라 국가적 차원의 농업에서 매우 중요한 사용 사례임
• 애들레이드 대학교에는 대규모 데이터 분석이 필수적인 다양한 산업에서 공유할 수 있는 레시피가 이미 존재함
• 두 번째 사례는 EnglishHelper
• ReadTome와 RightToRead를 사용하여 교사들이 유치원생에서 12학년에 이르는 전 학년을 대상으로 영어 교육을 이어가는 방법을 유지했음
• 인텔과 AWS의 기술을 바타응로 한 다중 감각 기술을 통해 놀라운 개선이 이루어짐
• CSIRO와의 협력으로 말할 것 같으면, 공간에 대한 연구 관점에서 CSIRO와 함께 수행한 작업을 통해 병렬 산불 시뮬레이션을 식별하여 호주 등지에서 발생한 산불 시뮬레이션의 영향을 완화함으로써 60배에 달하는 성능 이점을 얻을 수 있었음
• 시드니 대학교와 협력하여 수행한 작업은 실제로 위험에 처한 동물들의 유전자 시퀀싱에 대한 매우 빠른 머신러닝 모델을 구축하는 데 도움이 되었음
• Fractal과 수행한 작업은 COVID-19 팬데믹으로 발생한 위기 상황에서 정부와 시민의 안전은 물론 상황 인식을 위한 100개의 대시보드를 구축하는 데 도움이 되었음
• 이것은 현재 국가에서 더욱 강력한 의료 모델을 구축하는 데 활용할 수 있게끔 확장되도록 구축된 플랫폼이자 솔루션이 되었음
• Gravmatics와 협력하여 인텔 소프트웨어 및 AWS 솔루션을 통해 AI 솔루션을 구축한 작업은 싱가폴 해안선에서 발생한 모든 문제를 실시간으로 식별, 탐지 및 대응하는 데 도움이 되었음

참고

본 블로그에서 사용한 이미지는 AWS Summit Korea에서 제공된 발표자료와 영상을 사용했습니다.